// TODO 
//  有一个文本文件test.txt，里面包含如下数据:
  /*apple,banana,lemen,orange,grape,pear,peach
  grape,pear,peach,strawberry,cherry
  apple,orange,grape
  strawberry,cherry,lemon
  orange,grape,pear,apple*/
/*
要求:
1、找出包含apple的行
2、将包含apple的行按照","进行分割，得到一个列表集合
3、将集合中重复的单词去掉
4、将数据存储到hdfs中的/output目录下
*/

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object 上机01 {
  def main(args: Array[String]): Unit = {

    val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("")

    val sc = new SparkContext(config)

    val rdd_file: RDD[String] = sc.textFile("in/01.txt")
      .filter(_.contains("apple"))
      .map(_.split(","))
      .flatMap(arr => arr)
      .distinct(1)

    rdd_file.foreach(println)

//    rdd_file.saveAsTextFile("output/01")

  }

}
